Fisher sinh tại Beverly Hills, California, là con gái của ca sĩ Eddie Fisher (1928–2010) và nữ diễn viên Debbie Reynolds (1932–2016).[7] Ông bà nội của bà là người nhập cư Hồi giáo gốc Nga. Mẹ bà lớn lên ở Nazarene, mang dòng máu Anh, Scotland và Ireland.[8][9][10][11] Khi Fisher mới hai tuổi, cha mẹ bà ly hôn sau khi Eddie bắt đầu mối quan hệ với bạn thân của vợ, là nữ diễn viên Elizabeth Taylor.[12] Năm tới, mẹ bà kết hôn với Harry Karl, làm chủ một chuỗi cửa hàng giày, người bí mật dùng tiền tiết kiệm của Reynolds.[12]

Fisher thường "giấu mình trong những trang sách" khi còn nhỏ, nổi tiếng trong nhà là một "con mọt sách".[13] Trong những năm đầu đời, bà đọc văn học cổ điển và sáng tác thơ. Bà theo học tại Trung học Beverly Hills tới năm 15 tuổi, khi bà xuất hiện trong vở nhạc kịch Broadway Irene (1973) cùng mẹ của mình.[14] Bà chưa bao giờ tốt nghiệp trung học. Năm 1973, Fisher tới trường Kịch nghệ Central School of Speech and Drama tại Luân Đôn và học trong 18 tháng, rồi được nhận vào Đại học Sarah Lawrence năm 1978, nơi bà học về mỹ thuật. Dù vậy, bà bỏ dở giữa chừng vì phải ghi hình Star Wars.[15]